语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
联合学习通常用于容易获得标签的任务（例如，下一个单词预测）。放松这种约束需要设计无监督的学习技术，该技术可以支持联合培训的理想特性：稳健性对统计/系统异质性，可伸缩性与参与者数量以及沟通效率。关于该主题的先前工作集中在直接扩展集中式的自我监督学习技术上，这些学习技术并非旨在具有上面列出的属性。为了解决这种情况，我们提出了乐团，这是一种新颖的无监督联盟学习技术，利用联邦的层次结构来协调分布式的聚类任务，并将客户数据对客户数据的全球始终划分为可区分的群集。我们显示了管弦乐队中的算法管道可确保在线性探针下良好的概括性能，从而使其在广泛的条件下胜过替代技术，包括异质性，客户次数，参与率和本地时期的变化。
translated by 谷歌翻译
收集大量人生成的健康数据（可穿戴性），但注释给机器学习模型的注释过程是不切实际的。本文讨论了使用以前应用于视觉域的自我监督损失的自我监督方法，例如以前应用于视觉域，可以应用于跨越睡眠，心脏和心脏的下游分类任务的高维健康信号。代谢条件。为此，我们适应数据增强步骤和整体架构，以满足数据（可穿戴迹线）的时间性，并通过比较其他最先进的方法（包括监督学习）和对抗的无监督来评估5个下游任务。代表学习方法。我们表明SIMCLR在大多数下游评估任务中表明了对抗性方法和完全监督的方法，并且所有自我监督方法都优于完全监督的方法。这项工作为应用于可穿戴时间级域的对比方法提供了全面的基准，显示了下游临床结果的任务不可知论见的承诺。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
视频框架插值〜（VFI）算法近年来由于数据驱动算法及其实现的前所未有的进展，近年来有了显着改善。最近的研究引入了高级运动估计或新颖的扭曲方法，以解决具有挑战性的VFI方案。但是，没有发表的VFI作品认为插值误差（IE）的空间不均匀特征。这项工作引入了这样的解决方案。通过密切检查光流与IE之间的相关性，本文提出了新的错误预测指标，该指标将中间框架分为与不同IE水平相对应的不同区域。它基于IE驱动的分割，并通过使用新颖的错误控制损耗函数，引入了一组空间自适应插值单元的合奏，该单元逐步处理并集成了分段区域。这种空间合奏会产生有效且具有诱人的VFI解决方案。对流行视频插值基准测试的广泛实验表明，所提出的解决方案在当前兴趣的应用中优于当前最新（SOTA）。
translated by 谷歌翻译
我们提出了一个开放域的社交聊天机器人Chirpy Cardinal。为了既有信息又有信息，我们的机器人以一种真实的，情感上的方式与用户聊天。通过将受控的神经产生与脚手架，手写的对话整合在一起，我们让用户和机器人都轮流推动对话，从而产生引人入胜且流利的体验。Chirpy Cardinal部署在Alexa奖Socialbot Grand Challenge的第四次迭代中，每天处理数千次对话，在9个机器人中排名第二，平均用户评级为3.58/5。
translated by 谷歌翻译
很少有人提出了几乎没有阶级的课程学习（FSCIL），目的是使深度学习系统能够逐步学习有限的数据。最近，一位先驱声称，通常使用的基于重播的课堂学习方法（CIL）是无效的，因此对于FSCIL而言并不是首选。如果真理，这对FSCIL领域产生了重大影响。在本文中，我们通过经验结果表明，采用数据重播非常有利。但是，存储和重播旧数据可能会导致隐私问题。为了解决此问题，我们或建议使用无数据重播，该重播可以通过发电机综合数据而无需访问真实数据。在观察知识蒸馏的不确定数据的有效性时，我们在发电机培训中强加了熵正则化，以鼓励更不确定的例子。此外，我们建议使用单速样标签重新标记生成的数据。这种修改使网络可以通过完全减少交叉渗透损失来学习，从而减轻了在常规知识蒸馏方法中平衡不同目标的问题。最后，我们对CIFAR-100，Miniimagenet和Cub-200展示了广泛的实验结果和分析，以证明我们提出的效果。
translated by 谷歌翻译
降解的图像通常存在于字符图像的一般来源中，从而导致特征识别结果不令人满意。现有的方法有专门的努力来恢复降级的角色图像。但是，这些方法获得的降解结果似乎并不能提高字符识别性能。这主要是因为当前方法仅着眼于像素级信息，而忽略了角色的关键特征，例如其字形，从而在脱索过程中导致字符标志性损害。在本文中，我们介绍了一个基于字形融合和注意力机制（即Churformer）的新型通用框架，以精确地恢复角色图像而不改变其固有的字形。与现有的框架不同，Charformer引入了一个并行目标任务，用于捕获其他信息并将其注入DICONISE骨架的图像，这将在字符图像DeNoising期间保持角色字形的一致性。此外，我们利用基于注意力的网络进行全局本地特征交互，这将有助于处理盲目的denoising和增强deNoSising绩效。我们将Charformer与多个数据集上的最新方法进行比较。实验结果表明了杂形和质量上的优势。
translated by 谷歌翻译
该技术报告提出了一种有效的自动驾驶运动预测方法。我们开发了一种基于变压器的方法，用于输入编码和轨迹预测。此外，我们提出了时间流动头来增强轨迹编码。最后，使用了有效的K均值集合方法。使用我们的变压器网络和集合方法，我们以1.90的最新Brier-Minfde得分赢得了Argoverse 2 Motion预测挑战的第一名。
translated by 谷歌翻译
来自视觉信息的特征点的全局收敛位置观察者的设计是一个具有挑战性的问题，特别是对于仅具有惯性测量的情况，并且没有均匀可观察性的假设，这仍然长时间保持开放。我们在本文中提供了解决问题的解决方案，假设只有特征点的轴承，以及机器人的偏置线性加速度和机器人的旋转速度 - 都可以使用。此外，与现有相关结果相反，我们不需要重力常数的值。所提出的方法在最近开发的基于参数估计的观察者（Ortega等人，Syst。控制。Lett。，Vol.85,2015）及其在我们以前的工作中的矩阵群体的延伸。给出了观察者收敛的机器人轨迹的条件，这些条件比激发和均匀完全可观察性条件的标准持久性严格弱。最后，我们将建议的设计应用于视觉惯性导航问题。还提出了仿真结果以说明我们的观察者设计。
translated by 谷歌翻译